Skip to main content

APO接入大语言模型分析告警事件

Last updated on

简介​

APO 使用通用大语言模型（LLM）可以帮助用户更好地分析告警事件。本文档用于指导您将您的大语言模型接入 APO。

对于不同大模型接入效果均有不同，APO 的演示 Demo 使用国产通用大语言模型 DeepSeek 进行推理分析，用户可以根据文档以及需求配置不同的大模型。

APO 目前支持多种大语言模型，根据您的需求进行配置：

接入使用 OpenAI API 规范的大语言模型​

在 APO Server 所在 Kubernetes 集群，执行下方命令配置 APO 大语言模型对接组件 originx-copilot-ai 的 configmap 资源。

kubectl edit cm originx-copilot-ai-config -n apo

1. 修改 LLM 类型

配置 originx-copilot-ai-config 资源中 config.yaml 下的配置llm_type为openai

llm_type: openai # 类型更改为openai

2. 配置大语言模型 API

修改 originx-copilot-ai-config 资源中 config.yaml 文件中的api_key、model、base_url三个配置。大语言模型API具体配置见附录。

...
llm_type: openai # 类型更改为openai

openai:
  api_key: # api_key
  model: # 模型选择
  stream: true # 是否流式输出
  base_url: # url链接
  temperature: 1.0 # 大模型 temperature
  top_p: 1.0 # 大模型 top_p

...

3. 修改完成后重启 originx-copilot-ai 组件

kubectl get po -n apo
kubectl rollout restart deployment originx-copilot-ai -n apo

接入第三方 SDK​

第三方 SDK 目前仅支持讯飞星火。

接入讯飞星火​

  • 讯飞星火 API调用文档
  • 获取星火大模型密钥app_id、api_secret、api_key。
  • 修改 url 和 domain 对应不同模型
    • Spark4.0 Ultra 请求地址为wss://spark-api.xf-yun.com/v4.0/chat，对应的domain参数为 4.0Ultra
    • Spark Max-32K请求地址为wss://spark-api.xf-yun.com/chat/max-32k，对应的domain参数为max-32k
    • Spark Max请求地址为wss://spark-api.xf-yun.com/v3.5/chat，对应的domain参数为generalv3.5
    • Spark Pro-128K请求地址为wss://spark-api.xf-yun.com/chat/pro-128k，对应的domain参数为pro-128k
    • Spark Pro请求地址为wss://spark-api.xf-yun.com/v3.1/chat，对应的domain参数为generalv3
    • Spark Lite请求地址为wss://spark-api.xf-yun.com/v1.1/chat，对应的domain参数为lite

在 APO Server 所在 Kubernetes 集群，执行下方命令配置 APO 大语言模型对接组件 originx-copilot-ai 的 configmap 资源。

kubectl edit cm originx-copilot-ai-config -n apo

1. 修改 LLM 类型

配置 originx-copilot-ai-config 资源中 config.yaml 下的配置llm_type为openai

llm_type: spark # 类型更改为spark

2. 配置讯飞星火 API

修改 originx-copilot-ai-config 资源中 config.yaml 文件中的spark资源下的参数。

...
llm_type: spark # 类型更改为spark

spark:
  url:
  app_id:
  api_key:
  api_secret:
  domain:
  stream: true  

...

3. 修改完成后重启 originx-copilot-ai 组件

kubectl get po -n apo
kubectl rollout restart deployment originx-copilot-ai -n apo

附录​